Содержание

Описание проекта

Для стартапа, продающего продукты питания нужно изучить поведение пользователей мобильного приложения.

Изучить воронку продаж. Узнайть, как пользователи доходят до покупки. Сколько пользователей доходит до покупки, а сколько — «застревает» на предыдущих шагах? На каких именно?

Исследовать результаты A/A/B-эксперимента. Дизайнеры захотели поменять шрифты во всём приложении, а менеджеры испугались, что пользователям будет непривычно. Договорились принять решение по результатам A/A/B-теста. Пользователей разбили на 3 группы: 2 контрольные со старыми шрифтами и одну экспериментальную — с новыми. Необходимо определить какой шрифт лучше.

Обзор данных

Функция для обзора датафрейма

Посмотрим на таблицу для исследования.

Согласно документации таблица содержит следующую информацию:

В данных обнаружены следующие проблемы:

Предобработка данных

Приведем названия столбцов к "хорошему стилю"

Удалим полные дубликаты строк

Преобразуем столбец, содержащий дату и время в формат datetime и выделим дату в отдельый столбец event_date

Дубликаты строк удалять не будем, поскольку для построения воронок их наличие не имеет значения.

Изучение данных.

Посмотрим на статистику событий по пользователям.

Один пользователь совершает от 1 до 2308 событий.

В среднем на одного пользователя приходится 32 события. Медианное количество событий на одного пользователя 20 . Как видно среднее значение сильно смещено в большую сторону из-за высокой активности отдельных пользователей, которых немного (75 перцентиль всего 37,5 а максисальное количество событий 2308).

Определение актуального периода данных.

Мы распологаем данными с 25 июля по 08 августа 2019 г. Посмотрим на распределение событий по датам.

Полными данными о событиях мы располагаем начиная с 01 августа. Более ранние события скорее всего попали в логи, потому что загрузились в систему 01 августа и позже, но отображаются по дате их совершения.

Посмотрим сколько событий и пользователей содержат логи до 01.08

Отфильтруем таблицу по актуальному периоду

Проверим, что во всех группах остались пользователи

Пользователи есть во всех группах.

Проверим нет ли пересечения пользователей между группами

Воронка продаж приложения.

Посмотрим как часто встречается каждое событие, сколько уникальных пользователей его совершают.

Не все события выстроились в последовательную цепочкую Событие Tutorial (скорее всего просмотр руководства по пользованию приложением) должно происходить после первого шага (MainScreenAppear), слишком мало пользователей делают этот шаг, Tutorial не нужно учитывать при подсчете воронки.

Кроме того, в первом шаге у нас только 98% всех уникальных пользователей. Возможно, с некоторых устройств пользователей не отсылаются определенные события.

Посчитаем конверсию каждого события относительно предыдущего и абсолютную конверсию (относительно общего числа пользователей)

Вывод

Воронка продаж в приложении проходит в четыре этапа:

Конверсия в покупку у приложения 47%. Это очень высокий показатель. Хорошим показателем средней конверсии для интернет-магазинов этой ниши считается более 30%.https://www.shopolog.ru/metodichka/analytics/issledovanie-onlayn-rynok-produktov-pitaniya-za-1-polugodie-2021-goda/

Рассмотрим все этапы воронки.

Больше всего пользователей 38% теряется после первого шага. Возможно реклама привлекает нецелевую аудиторию приложения, причиной также может может быть не интуитивно понятный интерфейс.

До третьего этапа - корзины доходит 50% всех пользователей, здесь мы теряем 12%. В этом случае возможно проблема в отсутствии на странице предложения необходимой пользователям информации, или недостаточно привлекательном оформлении страницы.

От первого события до оплаты доходит 47% всех пользователей. Часть пользователей (3%) также теряется от этапа корзины до оплаты. Возможно они не находят удобного для них способа оплаты или доставки.

Результаты эксперимента.

Экспериментальные группы.

Посмотрим на группы по количеству пользователей

Максимальная разница в количестве пользователей групп 2,09% (между группой 248 и 246). Разинца между группами 247 и 246 (АА группы) 1,17%

Построим воронки для каждой группы, а также для объединенной А/А группы (246 и 247), посчитаем абсолютную конверсию на каждом шаге

Самые высокие показатели конверсии в продажи и по каждому событию у группы 246. Самая низкая конверсия в продажи у группы 247. У группы 248 на первых трех шагах конверсия несколько ниже, чем у 246 и 247, однако конверсия в последнее событие у 248 группы выше чему 247.

Проверим статистическими методами есть ли различия между этими выборками.

Проверка наличия статистических различий между А/А группами (246 и 247)

Две контрольные группы эксперимента А/А - 246 и 247. Нам нужно проверить есть ли статистически значимая разница в конверсиях в каждый шаг между эти группами. Гипотеза о равенстве долей двух генеральных совокупностей проверяется z-тестом.

Напишем функцию для проверки равенства долей на каждом шаге z-тестом.

Уровень значимости alpha для сравнения двух А/А групп 0,01

При сравнении групп мы проверям 16 статистических гипотез о равенстве долей по каждому событию (по 4 гипотезы для каждого сочетания групп). Скорректируем уровень значимости на число сравнений при помощи метода Шидока.

Нулевая гипотеза - Конверсии в событие двух генеральных совокупностей выборок 246 и 247 равны.

Альтернативная гипотеза - Конверсии в событие двух генеральных совокупностей выборок 246 и 247 различаются.

Вывод

Контрольные группы 246 и 247 сформированы успешно, вероятность того, что между ними нет статистически значимых различий выше уровня значимости.

Проверка наличия статистически значимых различий между А/В группами.

Уровень значимости alpha для проверки равен 0,05.

Скорректируем его с учетом множественных сравнений, применив метод Шидака (мы проверяем 16 статистических гипотез).

Сравним группы 248 и 246

Нулевая гипотеза - Конверсии в событие двух генеральных совокупностей выборок 246 и 248 равны.

Альтернативная гипотеза - Конверсии в событие двух генеральных совокупностей выборок 246 и 248 различаются.

Вывод

Вероятность того, что между группами 248 и 246 нет статистически значимых различий в конверсиях по всем событиям, выше уровня значимости.

Сравним группы 248 и 247

Нулевая гипотеза - Конверсии в событие двух генеральных совокупностей выборок 247 и 248 равны.

Альтернативная гипотеза - Конверсии в событие двух генеральных совокупностей выборок 247 и 248 различаются.

Вывод

Вероятность того, что между группами 248 и 247 нет статистически значимых различий в конверсиях по всем событиям, выше уровня значимости.

Сравним группы 248 и 246+247

Нулевая гипотеза - Конверсии в событие двух генеральных совокупностей выборок 246+247 и 248 равны.

Альтернативная гипотеза - Конверсии в событие двух генеральных совокупностей выборок 246+247 и 248 различаются.

Вывод

Вероятность того, что между группами 248 и 246+247 нет статистически значимых различий в конверсиях по всем событиям, выше уровня значимости.

Вывод по результатам эксперимента.

В целом конверсия на каждом шаге у группы с измененными шрифтами в приложении 248 была несколько ниже, чем у контрольной 246+247. Однако, проверка статистическими методами показала, что вероятнее всего эти различия случайны.

Таким образом можно сказать, что применение нового шрифта в приложении не изменило поведения пользователей в отношении конверсии в проверяемые нами события.

Общий вывод.

В ходе исследования мы выяснили:

Можно сделать опрос, почему пользователи отказываются от покупки в последний момент. Для проверки удобства интерфейса нескольким тестовым пользователям можно дать задание пройти все этапы от поиска товара до оплаты.

Кроме того практически все пользователи переходят в оплату из корзины. Если у приложения есть функция быстрой покупки (со страницы предожения), то ей почти не пользуются. Следует обратить на это внимание.

Проверка результатов эксперимента с изменением шрифтов приложения показала следующее:

Изменение шрифтов не оказало влияния на поведение пользователей в части конверсии в шаги воронки продаж. В этом отношении нельзя сказать что новый шрифт лучше, чем старый или наоборот.